We propose RANA, a relightable and articulated neural avatar for the photorealistic synthesis of humans under arbitrary viewpoints, body poses, and lighting. We only require a short video clip of the person to create the avatar and assume no knowledge about the lighting environment. We present a novel framework to model humans while disentangling their geometry, texture, and also lighting environment from monocular RGB videos. To simplify this otherwise ill-posed task we first estimate the coarse geometry and texture of the person via SMPL+D model fitting and then learn an articulated neural representation for photorealistic image generation. RANA first generates the normal and albedo maps of the person in any given target body pose and then uses spherical harmonics lighting to generate the shaded image in the target lighting environment. We also propose to pretrain RANA using synthetic images and demonstrate that it leads to better disentanglement between geometry and texture while also improving robustness to novel body poses. Finally, we also present a new photorealistic synthetic dataset, Relighting Humans, to quantitatively evaluate the performance of the proposed approach.
translated by 谷歌翻译
鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。
translated by 谷歌翻译
使用单视图2D照片仅集合，无监督的高质量多视图 - 一致的图像和3D形状一直是一个长期存在的挑战。现有的3D GAN是计算密集型的，也是没有3D-一致的近似;前者限制了所生成的图像的质量和分辨率，并且后者对多视图一致性和形状质量产生不利影响。在这项工作中，我们提高了3D GAN的计算效率和图像质量，而无需依赖这些近似。为此目的，我们介绍了一种表现力的混合明确隐式网络架构，与其他设计选择一起，不仅可以实时合成高分辨率多视图一致图像，而且还产生高质量的3D几何形状。通过解耦特征生成和神经渲染，我们的框架能够利用最先进的2D CNN生成器，例如Stylega2，并继承它们的效率和表现力。在其他实验中，我们展示了与FFHQ和AFHQ猫的最先进的3D感知合成。
translated by 谷歌翻译
形状空间学习的任务涉及使用良好的概括性属性映射到从潜在表示空间的列车组。通常，真实世界的形状系列具有对称性，可以定义为不改变形状本质的转换。在形状空间学习中纳入对称性的自然方式是要求将其映射到形状空间（编码器）和从形状空间（解码器）映射到相关的对称。在本文中，我们通过引入两个贡献，提出了一种在编码器和解码器中融入设备和解码器的框架：（i）适应建设通用，高效和最大富有表现力的Autorencoders的最近帧平均（FA）框架; （ii）构建自动化器等于分段欧几里德运动的分段应用于形状的不同部分。据我们所知，这是第一个完全分段的欧几里德的欧洲等自动化器建设。培训我们的框架很简单：它使用标准的重建损失，不需要引入新的损失。我们的体系结构由标准（骨干网）架构构成，具有适当的帧平均，使其成为等效。使用隐式的神经表示，在两个刚性形状数据集上测试我们的框架，并使用基于网格的神经网络的铰接形状数据集显示出技术的概括，以通过大边缘改善相关基线。特别地，我们的方法表明了概括铰接姿势的概括性的显着改善。
translated by 谷歌翻译
我们呈现Hipnet，一个在许多姿势的多个科目上培训的神经隐式姿势网络。HIPNET可以从姿势特定的细节中解散特定主题细节，有效地使我们能够从一个受试者到另一个受试者的retrarget运动，或通过潜在空间插值在关键帧之间设置动画。为此，我们采用基于分层的基于骨架的表示，以便在规范的未浮现空间上学习符号距离功能。这种基于联合的分解使我们能够代表本地围绕身体关节周围的空间的细微细节。与以前的神经隐式方法不同，需要基础真实SDF进行培训，我们的模型我们只需要一个构成的骨架和点云进行培训，我们没有对传统的参数模型或传统的剥皮方法的依赖。我们在各种单一主题和多主题基准上实现最先进的结果。
translated by 谷歌翻译
我们呈现神经内核字段：一种基于学习内核回归重建隐式3D形状的新方法。我们的技术在重建3D对象和稀疏导向点的大型场景时，我们的技术实现了最先进的结果，并且可以在训练组外重建形状类别，几乎没有准确度。我们的方法的核心介绍是，当所选内核具有适当的感应偏压时，内核方法对于重建形状非常有效。因此，我们将形状重建问题分为两部分：（1）骨干神经网络从数据中学习内核参数，（2）通过求解一个简单的正面的正定方法，该骨架ridge回归拟合输入点。使用学习内核的线性系统。由于这种分解，我们的重建在稀疏点密度下获得了数据驱动方法的益处，同时保持了与地面真理形状收敛的插值行为，因为输入采样密度增加。我们的实验表明了在列车集类别之外的对象和扫描场景的强大概括能力。源代码和预磨料模型可在https://nv-tlabs.github.io/nkf上获得。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
移动边缘学习（MEL）是一种学习范例，可以通过异构边缘设备（例如，IOT设备）来实现对机器学习模型的分布式训练。 Multi-Orchestrator MEL是指具有不同数据集的多个学习任务的共存，每个学习任务由Orchestrator管理，以便于分布式训练过程。在MEL中，培训性能恶化而不提供足够的培训数据或计算资源。因此，激励边缘设备成为学习者并提供其计算资源至关重要，并且提供他们的私人数据或从协调仪接收所需的数据并参与学习任务的培训过程。在这项工作中，我们提出了一种激励机制，我们制定了协调员 - 学习者的互动作为一个2轮Stackelberg游戏，以激励学习者的参与。在第一轮中，学习者决定哪些学习任务从事参与，然后在第二轮培训的数据量，以便他们的效用最大化。然后我们分析游戏并导致学习者的最佳策略。最后，已经进行了数值实验以评估提出的激励机制的性能。
translated by 谷歌翻译